Ieoh Ming Pei sinh ngày 26 tháng 4 tháng 1917 tại Tô Châu, Giang Tô, Trung Quốc. Năm 18 tuổi gia đình ông di cư đến Hoa Kỳ.

Ông lớn lên tại Thượng Hải, sau đó là trường trung học St. Paul tại Hồng Kông trước khi cùng gia đình di cư đến Mỹ. Ông bắt đầu theo học kiến trúc tại Đại học Pennsylvania, sau đó lấy bằng thạc sĩ kiến trúc tại Học viện kĩ thuật Massachusetts (MIT) năm 1940. Cùng năm đó, ông nhận được giải thưởng Alpha Rho Chi, Giải thưởng hữu nghị của MIT, và Huy chương vàng AIA. Hai năm sau, Pei theo học tại trường thiết kế, Đại học Harvard. Một thời gian ngắn sau đó, ông chuyển sang làm việc tại Ủy ban nghiên cứu phòng vệ quốc gia (National Defense Research Committee) ở Princeton, New Jersey

Năm 1944, Pei quay lại Harvard lấy bằng thạc sĩ kiến trúc thứ 2 tại đây vào năm 1946. Kế đó ông làm trợ lý giáo sư tại Harvard. Ông nhận học bổng du lịch hữu nghị Wheelwright năm 1951 và nhập tịch vào công dân Mỹ năm 1954. Văn phòng Thiết kế I. M. Pei và cộng sự được Pei thành lập năm 1955, đến năm 1989 đổi tên thành Pei, Cobb, Freed và Cộng sự.

Pei có hai con trai là Chien Chung (Didi) Pei, và Li Chung (Sandi) Pei. Cả hai đều theo học tại Đại học Harvard và cộng tác với Pei trong các đồ án nổi tiếng như bảo tàng Louvre và tháp Ngân hàng Trung Quốc tại Hồng Kông. Hiện nay 2 người con ông đứng đầu mở hãng thiết kế Pei và cộng sự, I. M. Pei tham dự với tư cách là cố vấn sau khi ông nghỉ hưu, rút ra khỏi I. M. Pei và cộng sự năm 1989.